论文合集｜联邦大模型及可信联邦学习近期论文
1.Efficient Model Personalization in Federated Learning via Client-Specific Prompt Generation
中稿会议：ICCV 2023
时间：2023年8月29日
摘要：为了利用大规模模型的强大表示能力，同时实现对异构客户端的高效模型个性化，作者提出了一种新的客户端特定提示生成(pFedPG)的个性化联邦学习框架，该框架学习在服务器上部署个性化提示生成器，以生成客户端特定的视觉提示，从而有效地将冻结的骨架适应本地数据分布。作者提出的框架共同优化了个性化提示适应的局部阶段和个性化提示生成的全局阶段。前者旨在训练视觉提示，使基础模型适应每个客户端，后者观察局部优化方向，为所有客户端生成个性化提示。通过在基准数据集上的大量实验表明，在各种类型的数据异构下，pFedPG优于最先进的个性化联邦学习方法，允许计算和通信高效的模型个性化。私保护和可扩展人工智能系统的发展。
图1： (a) FedAvg and (b) 作者方案的对比（Paper第1页）
链接：https://arxiv.org/abs/2308.15367
2.FedLogic: Interpretable Federated Multi-Domain Chain-of-Thought Prompt Selection for Large Language Models
大型语言模型的可解释的联邦多域思维链提示选择
（Pengwei Xing 南洋理工大学, Songtao Lu IBM研究院, Han Yu 南洋理工大学）
时间：2023年8月29日
摘要：此论文提出联邦逻辑规则学习方法FedLogic。介绍了联邦大模型背景下的多域CoT提示选择困境的理论形式化和交互式仿真。作者将联邦概率建模问题视为一个双层程序，其中CoT提示选择的复杂性可以比作基于模糊分数的规则选择，其中LLM函数作为规则生成器。FedLogic通过变分期望最大化(V-EM)解决了这个问题。此外，作者在该概率建模框架中结合了两个KL-divergence约束，以克服管理广泛搜索空间和实现CoTs跨域个性化的复杂性。据作者所知，FedLogic是大模型第一个可解释的、原则性的联邦多域CoT提示选择方法。
图2：一个上下文学习实例（b），其对应的LLMs对话场景（a），以及其对应的基于规则的概率模型场景（c）。这三个子图中的每个组件都是对齐的。（Paper第3页）
链接：https://arxiv.org/abs/2308.15324
3.Federated Fine-tuning of Billion-Sized Language Models across Mobile Devices
跨移动设备的十亿级语言模型的联邦微调
（Mengwei Xu 北京邮电大学, Yaozong Wu 北京邮电大学, Dongqi Cai 北京邮电大学, Xiang Li 北京邮电大学, Shangguang Wang 北京邮电大学）
时间：2023年8月26日
摘要：此研究引入了FwdLLM，这是一种创新的FL协议，旨在提高FedLLM的效率。FwdLLM的关键思想是采用无反向传播(BP)的训练方法，只要求设备执行“摄动推理”。因此，FwdLLM提供了更好的内存效率和时间效率(通过移动NPUs和扩展的参与设备阵列加速)。用5个LLM和3个NLP任务进行的综合实验表明，FwdLLM比传统方法具有显著优势，包括收敛速度提高了3个数量级，内存占用减少了14.6倍。独特的是，FwdLLM为在COTS移动设备上进行数十亿参数LLM(如LLaMA)的联邦学习铺平了道路，这是以前从未实现过的壮举。
图3：FwdLLM工作流程（Paper第5页）
链接：https://arxiv.org/abs/2308.13894
4.Efficient Semi-Supervised Federated Learning for Heterogeneous Participants
异构参与者的高效半监督联邦学习
（Zhipeng Sun 中国科学技术大学, Yang Xu 中国科学技术大学、Member, IEEE, Hongli Xu, 中国科学技术大学、Member, IEEE, Zhiyuan Wang 中国科学技术大学）
时间：2023年7月29日
摘要：作者提出了伪聚类Semi-SFL，这是一个用于在标记数据驻留在服务器上的场景中训练模型的新系统。通过引入聚类正则化，可以提高模型在数据non-IIDness情况下的性能。此外，作者对模型收敛性的理论和实验研究表明，标记和未标记数据上不一致的训练过程会影响聚类正则化的有效性。在此基础上，作者开发了一种全局更新频率自适应控制算法，动态调整监督训练迭代次数，以缓解训练不一致性。在基准模型和数据集上进行的大量实验表明，系统在达到目标精度的同时，将训练时间加快了3.3倍，将通信成本降低了约80.1%，在non-IID场景下，与最先进的系统相比，准确率提高了6.9%。
图4：系统工作流程：交替执行监督训练和分割前向和后向传播的四个步骤（➀-➃）（Paper第4页）
链接：https://arxiv.org/abs/2307.15870
5.Low-Parameter Federated Learning with Large Language Models
基于大模型的低参数联邦学习
（Jingang Jiang 华南师范大学, Xiangyang Liu 华南师范大学, Chenyou Fan 华南师范大学）
时间：2023年7月26日
摘要：作者提出了低参数联邦学习(LP-FL)。LP-FL结合了从LLMs的几次快速学习与有效的沟通和联邦技术。作者的方法使联邦客户端能够使用从全局模型中逐渐学习到的知识为未标记的数据分配软标签。通过迭代的软标签分配，在FL过程中不断扩大标签集。此外，为了减少计算和通信成本，LP-FL利用低秩自适应(LoRA)技术进行紧凑的可学习参数构建，高效的局部模型微调和负担得起的全局模型联邦。LP-FL在各种FL设置的情感分析任务中始终优于全参数联邦学习(FP-FL)。它对过拟合的抵抗力使LP-FL在少数射击场景中等于或超过集中训练。
图5：LP-FL训练工作流程（Paper第5页）
链接：https://arxiv.org/abs/2307.13896
6.Federated Large Language Model: A Position Paper
观点：联邦大模型
（Chaochao Chen 浙江大学, Xiaohua Feng 浙江大学, Jun Zhou 浙江大学, Jianwei Yin 浙江大学, Xiaolin Zheng 浙江大学）
时间：2022年7月18日
摘要：作者提出了联邦大模型的概念，它包括三个关键组成部分，即联邦大模型预训练、联邦大模型微调和联邦大模型提示工程。对于每个组成部分，作者讨论其相对于传统LLM培训方法的优势，并提出具体的实施工程策略。此外，作者探讨了FL和LLM整合带来的新挑战。作者分析现有的解决方案并确定这些解决方案在联邦大模型背景下面临的潜在障碍。
图6：大模型面临的问题（Paper第2页）
链接：https://arxiv.org/abs/2307.08925
7. Federated Learning Robust to Byzantine Attacks: Achieving Zero Optimality Gap
抗拜占庭攻击的联邦学习:实现零最优性差距
(Shiyuan Zuo 北京理工大学, Rongfei Fan 北京理工大学, Han Hu 北京理工大学, Ning Zhang 加拿大温莎大学, Shimin Gong 中山大学)
时间：2023年8月21日
摘要：作者提出了一种用于联邦学习(FL)的鲁棒聚合方法，可以有效地解决恶意拜占庭攻击。对于每个用户，首先通过多个步骤更新模型参数，迭代可调，然后直接推送到聚合中心。这减少了聚合中心与用户之间的交互次数，允许每个用户以灵活的方式设置训练参数，与现有需要组合多个历史模型参数的工作相比，减少了计算负担。在聚合中心，利用几何中位数来组合从每个用户接收到的模型参数。严格的证明表明，只要拜占庭攻击者的比例低于一半，该方法就可以实现零最优性缺口，并且具有线性收敛性。数值结果验证了该方法的有效性。
图7：不同β值下的测试准确度和训练损失（Paper第4页）
链接：https://arxiv.org/abs/2308.10427
8.FedHGN: A Federated Framework for Heterogeneous Graph Neural Networks
异构图神经网络的联邦框架
（Xinyu Fu 香港中文大学, Irwin King 香港中文大学)
中稿会议：IJCAI 2023
时间：2023年5月16日
摘要：作者提出了FedHGN，这是一种用于HGNN的新型通用FGL框架。FedHGN采用模式权重解耦实现与模式无关的知识共享，采用系数对齐稳定训练过程，提高HGNN性能。通过更好的隐私保护，FedHGN在三个广泛采用的具有不同客户端数量的异构图数据集上始终优于本地训练和传统的联邦学习方法。
图8：受信任和受损节点下的联邦学习。Pelta可防御逃避攻击（Paper第1页）
链接：https://arxiv.org/abs/2305.09729
9.Delving into the Adversarial Robustness of Federated Learning
探究联邦学习的对抗鲁棒性
（Jie Zhang 浙江大学, Bo Li 腾讯, Chen Chen 索尼AI, Lingjuan Lyu 索尼AI, Shuang Wu 腾讯, Shouhong Ding 腾讯, Chao Wu 浙江大学）
中稿会议：AAAI'2023
时间：2023年2月19日
摘要：此文阐述了联邦学习的对抗鲁棒性挑战。为了更好地理解现有FL方法的对抗性漏洞，作者对各种攻击和对抗性训练方法进行了全面的鲁棒性评估。还揭示了在FL中直接采用对抗性训练所产生的负面影响，这严重损害了测试的准确性，特别是在非iid环境下。作者在此项工作提出了一种新的算法，称为基于决策边界的联邦对抗训练(DBFAT)，它由两个组成部分(局部重加权和全局正则化)组成，以提高联邦学习系统的准确性和鲁棒性。在多个数据集上进行的大量实验表明，DBFAT在IID和non-IID设置下始终优于其他基线。
图9：左图：在非独立同分布数据下，明显训练的模型和对抗性训练的模型的测试准确度都下降。同时，对抗性训练会损害性能。右图：在CIFAR10上进行的准确性和鲁棒性评估，包括几种与联邦学习结合的最新防御方法。作者方法在两个度量维度上都优于现有基准。（Paper第2页）
链接：https://arxiv.org/abs/2302.09479
10.专利发明：工控网络中安全数据聚合的可验证联邦学习装置及方法
（桂林电子科技大学）
申请公布日：2023年8月1日
摘要：此发明公开了一种工控网络中安全数据聚合的可验证联邦学习装置及方法，所述方法基于工控网络中安全数据聚合的可验证联邦学习装置，包括获取初始化的公共参数；确定参与者与中心服务器公私钥部分密钥对；确定参与者与中心服务器会话密钥；确定三方协商密钥；获得加密的局部梯度；获得辅助验证标签及签名；获得证明信息、聚合结果和证明；获得验证结果。这种方法采用双重隐蔽技术和数据加密技术，能确保数据的机密性和完整性，采用轻量级的三方密钥协商方式生成服务器和参与者之间的协商密钥，能更好地实现轻量级安全数据聚合过程。
链接：http://epub.cnipa.gov.cn/patent/CN116527279A
END
热文推荐
4. 密码学基础｜单向函数 (One-way Function)